Immagina il lavoro di scolpire un cervello rispetto al semplice consegnargli una sceneggiatura. Nell'era precedente del NLP, Adattamento al dominio era un processo faticoso di Apprendimento per trasferimento o PEFT (Personalizzazione Efficienti per Parametri). Abbiamo trattato i modelli come argilla, richiedendo migliaia di esempi etichettati per modificare fisicamente i pesi interni β un processo che era gravoso dal punto di vista computazionale e produceva versioni statiche e iper-specializzate di modelli come BERT.
Il Catalizzatore GPT-3
Il rilascio di GPT-3 ha segnato un Stato dell'arte (SOTA) punto di svolta. Ha dimostrato che Apprendimento nel contestoβdove il modello identifica direttamente i pattern dal promptβspesso corrisponde o supera le prestazioni della personalizzazione specializzata per compiti generali. Ci siamo spostati verso Inferenza basata su prompt, dove la latenza e il costo degli aggiornamenti dei gradienti sono sostituiti dall'iniezione strategica di contesto.